Blog - LINE ENGINEERING

TAG ARCHIVES: Data Platform

【インターンレポート】Data CatalogへAI アシスタントを導入した話
野田栞穂2023-09-27
IU Devチーム
はじめにこんにちは、東京大学大学院学際情報学府修士1年の野田栞穂と申します。2023年8/21~9/29の6週間、LINE株式会社の就業型インターンシップにサーバサイドエンジニアとして参加させていただきました。Data platform室のIU Devチームに配属され、LINE社内のData CatalogにOpenAI APIを利用したAI アシスタントシステムの導入を目指すというプロジェクトを行いました。本記事では、そのプロジェクトの内容について報告します。背景 IU Webとは LINEでは、データ利活用を促進するため、社内のデータをまとめて管理・処理できるInformation Universe(IU)というデータプラットフォームが構成されています。そして、IUのData Catalogとして開発されているのがIU Webです。IU Webでは、「データの民主化」というスローガンを元に、誰もがデータのアクセス・活用がしやすいことを目指しています。機能としては以下のようなものが挙げられます。データの説明や意味などのメタデータやデータ同士の関係をまとめる。データの検索
【インターンレポート】LINEの大規模ETL batch pipelineにおけるdbtの導入によるデータ分析での課題解決の検証
Aisu Takida2023-09-20
IU Data Connectチーム
こんにちは、早稲田大学政治経済学経済学科学部3年の滝田愛澄と申します。2023年8月7日から6週間、LINE株式会社のIU Data Connectチームにて、就業型インターンシップに参加させていただきました。本インターンでは、LINEの大規模ETL batch pipelineであるVinitusが現在抱えている課題を解決することを目的に、data build tool (dbt) の調査とdbtを用いた新たなworkflowのプロトタイプの設計・実装に取り組みました。このレポートでは、現在のVinitusが抱えている課題を確認し、dbtの導入によってどのようにそれらの課題を解決できるか、具体的にこのプロトタイプでは何をどう実装したのかについてを述べます。背景データが十分に蓄積され始めると、データ分析やBIツールによるダッシュボード化、機械学習による未来予測などのデータ活用を行う動きが一般となってきました。これらのデータ活用のために必ず必要とされるのがデータエンジニアリングです。データエンジニアリングというワードは広義な意味を持ちますが、データが蓄積されてから活用され
LINE Data PlatformにおけるSpark3.2.1アップグレードに伴うリソース効率改善の事例
Daisuke Kataoka, Eli Kitagawa2023-09-13
LINE Data Platform室 Data Solutionsチームで社内のData Platform利用ユーザのサポートをしています
こんにちは。Data Platform室 Data Solutionsチームの片岡と北川です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員（以下、ユーザ）が活用できるように、データの収集、処理、分析、可視化を提供しています。我々が所属するData Solutionsチームでは、IUのプロダクトのユーザへのデリバリー、IUの安定運用のためのエンジニアのサポート、ユーザからのテクニカルな質問への回答を担当しています。今回は、その活動の一環として実施したSpark3.2.1アップグレードプロジェクトにおけるリソース効率の改善事例について紹介します。 Spark3.2.1アップグレードプロジェクト発足の背景 IUでは、IUのテーブルに対してデータ操作をする際には、SQLやScriptを利用してユーザ自身でDDL/DMLを実行してもらう運用としており、IU側で実行エ
- Spark
- Data Platform
LINEのData Catalogの検索精度を大幅に改善した話
Taishi Eguchi2022-12-26
IU Devチーム
はじめにこんにちは。東京大学大学院修士1年の江口大志です。10月から12月にかけてのパートタイムジョブという形で、LINEでソフトウェアエンジニアとして働きました。今回はData Platform室のIU Devチームに所属し、LINE社内のData Catalogの検索精度の改善に取り組みました。本ブログではその内容について紹介します。背景 LINEでは、社内のデータ利活用を促進するためにInformation Universe（以下、IU）と呼ばれる内製のデータプラットフォームを利用していて、LINEのほぼ全てのサービスから生成されるデータが集積されています。図. LINEの内製のデータプラットフォーム（参考）現在IUでは、4万テーブルに約400 PBのデータが入っており、それらのデータは毎日150,000ものジョブで生成・変更され増え続けています「IU Web」は、IUのデータを安全かつ効率的に活用できるように、Data Catalogとして以下のような機能を提供しています。データの検索機能データの権限管理データのメタデータの管理機能（Data Linea
LINEの大規模なData PlatformにData Lineageを導入した話
Shinji Shimamura2022-05-18
LINE Data Platform室IU DevチームでData Catalog(IU Web)の開発をしています。
はじめにこんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています　IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスから利用されています。 IUにおいて、Data Pipelineが複雑になるにつれて、データに関する問題が発生した際のデータの関係性の把握が難しくなっていました。この問題を解決するために、IU Webでは、Data Lineage機能を導入しました。この記事では、導入したData Lineage機能と、機能開発時に発生した問題及びその解決方法についてご紹介
【インターンレポート】IU Web 検索補完機能の実装
Ryoto Suzuki2021-10-13
こんにちは。東京大学大学院修士1年の鈴木凌斗と申します。8月23日から6週間、技術職就業型コースのインターンシップに参加しました。今回のインターンではData Platform室 IU Devチームに所属し、LINE社内で利用している「IU Web」というデータカタログの検索機能改善に取り組みました。本ブログでは、その内容について紹介します。背景 IU Webについて参考：LINEがサービス横断で実現する"データ活用の民主化" LINEでは全社横断でデータを活用するために「IU」(Information Universe) と呼ばれるデータプラットフォームを利用していて、LINEのほぼすべてのサービスのデータがここに集積されています。現時点でサーバ台数は2,000台以上、ストレージ使用量は約300PBとなっています。「IU Web」はIUのデータを管理するデータカタログとして以下を提供します。どのようなデータが存在するかデータの権限は誰にあるかデータのメタ情報データの検索機能社内ユーザは、IUに存在する大量のデータの中から目的のデータにアクセスするためにIU
【インターンレポート】Spark streamingを用いたログ分析パイプラインの開発
Ryosuke Unno2021-09-27
2021年夏のインターンシップに参加した海野良介です。普段はゲーム環境での強化学習の利用についての研究を行なっています。今回のインターンシップでは、Data Platform室・Data Engineering3チームに所属しました。この記事では、インターン期間中に私が取り組んだ内容について紹介します。背景・課題現在Data Platform室では300PB以上のディスク容量、2000以上のデータノードからなる、大規模なHadoopクラスタを運用しています。これらのクラスタ上では、監査目的のためにHadoopクラスタ内での全てのアクティビティログ（Audit log）を記録しています。記録されたAudit Logに対しては1日単位でバッチ処理によるテーブル形式への変換が行われています。このテーブルはHadoopクラスタで問題が発生した際に原因分析などの手段として利用されます。しかし現状の1日ごとにバッチ処理を行う場合ですと、問題発生からAudit logを使った分析までの間に遅延が発生してしまいます。そこで、Audit logを低遅延なシステムで分析し、問題が発生した際の原因調査や
Introduce Data Platform Department
Yukawa Wataru2020-12-15
LINEでデータエンジニアとして働いています。普段はHadoop、Hive、Presto、Azkaban、Fluentd、Elasticsearch、Prometheus、Grafanaなどを触っています。
こんにちは、Data Platform室の湯川です。今回は社内のデータ分析基盤を提供しているData Platform室の紹介をカジュアルにしたいと思います。どんな人がいるのか、どんな技術を使っているかなどを紹介するのですが、Data Platform室のメンバー（エンジニア）を対象にアンケートを取ったのでその結果について僕の印象をコメントする形で進めたいと思います。どんな国の人がいるかですね。日本人比率はちょうど半分です。この比率は部署によって結構違っていてほぼ日本人しかいない部署もあれば日本人はほぼいなくて普段の会話は英語という部署もあります。業務でどんな言語を使うかですね。言語に関してカジュアル面談で聞かれることも多いようなので正確に書きたいと思いますが、ドキュメント(e.g. wiki, pull request description)は英語で書かれることが多く、Slackはchannelによって違いますが英語が多いのと通訳botを使うケースもあります。会議は日本語が多く必要に応じて通訳の人が入ります。実態としては日本にいる外国人社員はたいてい日本語が喋れるので、日
- Data Platform

1